Từ Dụ có tên húy là Hằng (姮), tên tự là Nguyệt (月),Thường (嫦) hoặc Hào (浩)[1], sinh vào ngày 19 tháng 5 năm Canh Ngọ (tức ngày 20 tháng 6 năm 1810), xuất thân từ dòng họ Phạm Đăng thị (范登氏) tại giồng Sơn Quy (Gò Rùa), huyện Tân Hòa, tỉnh Gia Định, về sau thuộc khu vực ngoại thành thị xã tỉnh lỵ Gò Công thuộc tỉnh Gò Công, ngày nay là thị xã Gò Công thuộc tỉnh Tiền Giang. Bà là trưởng nữ của Lễ bộ thượng thư Đức Quốc công Phạm Đăng Hưng, mẹ là Đức Quốc phu nhân Phạm thị.

Theo Đại Nam liệt truyện, các đời trước của bà được truy phong:

• Cao tổ là Phạm Đăng Tiên (范登僊) truy tặng làm Trung Thuận đại phu Hàn Lâm viện Thị độc Học sĩ, tước Mỹ Khánh tử (美慶子), thụy là Đoan Xác (端慤). Chính thất là Bùi thị làm Đoan Cung Cung nhân (端恭恭人).
• Tằng tổ là Phạm Đăng Doanh (范登瀛) truy tặng làm Gia Nghị đại phu Hàn Lâm viện Chưởng viện Học sĩ, tước Bình Thạnh bá (平盛伯), thụy là Cẩn Lượng (謹亮). Chính thất là Trương thị làm Đoan Hoà Thục nhân (端和淑人).
• Tổ phụ là Phạm Đăng Long (范登龍) truy tặng làm Từ Thiện đại phu Lại bộ Thượng thư, tước Phúc An hầu (福安侯), thụy là Trang Nghị (莊毅). Chính thất là Phan thị làm Đoan Khiết phu nhân (端潔夫人).
• Thân phụ là Phạm Đăng Hưng phong làm Đặc Tiến Vinh Lộc đại phu, Thái bảo, Cần Chính điện Đại học sĩ, tước Đức Quốc công (德國公). Chính thất là Phạm thị được phong Đoan Từ Đức Quốc nhất phẩm phu nhân (端慈德國一品夫人).

Lúc nhỏ bà thích đọc sách, thông kinh sử, có đức hiền. Đến năm 12 tuổi, khi mẹ bà là Phạm Phu nhân lâm bệnh nặng, chỉ thích nằm một mình, tất cả người nhà không ai được gần gũi hầu hạ, bà ngày đêm hầu hạ cơm thuốc, không rời bên cạnh. Đến khi Phu nhân chết, bà ngày đêm kêu khóc không thôi, giữ tang thương xót chẳng nghĩ gì thêm, như người đã trưởng thành, xa gần nghe biết đều tấm tắc khen là lạ. Năm 14 tuổi, Nhân Tuyên Hoàng thái hậu nghe tiếng hiền, tuyển bà làm Phủ thiếp (府妾) cho Hoàng trưởng tử Nguyễn Phúc Miên Tông, cháu đích tôn của Gia Long. Bà là người có đức trang kính, giữ nết thuận tòng, được Nhân Tuyên Hoàng thái hậu và Thánh Tổ Hoàng đế yêu mến.

Năm 15 tuổi, bà sinh con gái đầu lòng là Diên Phúc Công chúa Nguyễn Phúc Tĩnh Hảo (延福公主阮福靜好). Năm sau, bà lại sinh Hoàng nữ thứ hai là Nguyễn Phúc Uyên Ý (阮福淵懿)[2]. Công chúa Uyên Ý sinh ra năm Minh Mạng thứ 7, nhưng 3 tuổi lại chết non[3].

Ngày 25 tháng 8 năm Kỷ Sửu (tức 22 tháng 9 năm 1829), bà sinh người con thứ ba là trai, đặt tên là Nguyễn Phúc Thì, sau đổi tên thành Nguyễn Phúc Hồng Nhậm (阮福洪任), tức Tự Đức Hoàng đế sau này.